Digital Image Processing עדכון: אפריל 2010

Transcript

1 עיבוד ספרתי של תמונות Digital Image Processing 1 נמרוד פלג המעבדה לעיבוד אותות ותמונות הפקולטה להנדסת חשמל, הטכניון עדכון: אפריל 2010

2 פרק 1: מבוא לעיבוד תמונה מהי תמונה? האור המוחזר מ אובייקט, לאחר מעבר במערכת אופטית, ונקלט במערך חיישנים (סרט צילום, CCD ). התמונה היא דו-ממדית, ובה עוצמת האור (בהיקות) וצבעו (אורך גל) תלויים במקום: פילוג העצמה והצבע של הקרינה 2

3 תמונות אחרות ישנם סוגים רבים של תמונות שאינן נקלטות דווקא במערכת אופטית: ראדאר רנטגן CT מערך מיקרופונים אור בלתי נראה (IR) ועוד. 3

4 אבל מה שאנחנו אוהבים לראות זה... 4

5 ייצוג מתמטי של תמונה נתאר תמונה כפונקציה של שני משתנים : (x,y), הן הקורדינטות במישור דו-ממדי x,y והערך של f מבטא (בתמונה אופטית) את הבהיקות (עצמת אור) בנקודה. f ( x, y) y f y 5 x x

6 ומה בתמונת צבע? בתמונת צבע מורכבת כל נקודה (pixel) משלשה צבעי יסוד: אדום, ירוק וכחול (מסומן ( RGB ולכן נתאר כל פיקסל ע י שלש פונקציות: r( x, y), g( x, y), b( x, y) 6

7 רמות האפור ורציפותן במקור, האובייקט אותו מצלמים הינו רציף הן בשטחו ( מרחב ) והן בצבעו ( בהיקות ), אך במעבר למחשב חייבים, משיקולים מעשיים לדגום את התמונה בנקודות מסוימות (פיקסלים בדידים) ובצבעים מסוימים (רמות אפור בדידות) מתקבל מערך (או מטריצה) של נקודות מיצגות Discrete, הערה: בדיד = דיסקרטי 7

8 אמצעי קלט לתמונות אמצעי הרכשה (Grabbing) מצלמה ספרתית לתמונה: (בדר כ מבוססת:( CCD מדידת מתח/זרם יחסי לכמות פוטונים, עבור כל פיקסל. רזולוציה בסיסית: 640 על 480 (VGA) - אלטרנטיבה: שורת חישנים עם סריקה מכנית רחוק מסרט צלום. (איטי) לצבע: שלשה מערכים + מסננים אופטיים מתאימים. קיימים חישנים מתאימים גם ל, IR -רנטגן וכד. 8

9 כ( אמצעי קלט לתמונות סורק אופטי: (המשך) עקרון דומה עם הקלות: כיול נוח, רקע אחיד, תאורה מבוקרת. רזולוציית הסריקה נמדדת בדר כ ב, dpi -ולא עולה על 600 נקודות לאינץ - 24 נקודות למ מ) רזולוציות גבוהות יותר מושגות ע י אינטרפולציה! תמונות סינטתיות: תמונות מחושבות בשיטות הדמייה: מכ מ CT, US, MRI, מדידת תופעה פיזיקלית ותרגום שלה למערך דו-ממדי. 9

10 אמצעי פלט לתמונות המרת תמונה ספרתית לתצוגה:( Display ) צגי שפופרת קרן-קתודית (שק ק: (CRT קרן סורקת המאירה נקודות של חומר פלואורסנטי.( RGB ) פרמטרים חשובים: מהירות הסריקה, רזולוציית המסך. אפשרויות אחרות, לדוגמא: : LCD מדפסות: Continuous Tone: יקרות ודומות לפיתוח סרט צילום אמיתי. בדר כ שימוש במגוון צבעים מוגבל וטכניקת Half-Tone ליצירת אשליה של רמות אפור/צבע.( Wax (Laser, Ink, 10

11 תמונת lena עם אפקטHalf-Tone 11

12 עיבוד תמונה ותחומים סמוכים עיבוד תמונות דן ב משימות בהן הקלט והפלט הינם תמונות (ספרתיות או אנלוגיות.( ראיה ממוחשבת : הקלט תמונה, והפלט אינו תמונה אלא מידע עליה.( Vision (Computer גרפיקה ממוחשבת : הקלט הינו מידע כלשהו והפלט הינו תמונה.( Graphics.(Computer לדוגמא: מציאת המיפוי התלת-מימדי של גופים בתמונה, לעומת בנית תמונה ריאליסטית ממידע על גופים תלת-מימדיים במרחב.( Rendering ) 12

13 מסלול אופיני לתמונה עדשת מצלמה אופטיקה עדשת העין (מיקוד) חישני מע הראייה (Cones, Rods) גלאי CCD אלקטרו-אופטיקה תיקון תחום דינמי, כימוי עיבוד האות תיקון תחום דינמי, כימוי ועוד במע הראיה דחיסה ושיפור עיבוד התמונה דחיסה ושיפור, במסלול עין-מוח ובמוח הראייה. הבנת התמונה ראייה הבנת התמונה: זיהוי, תנועה 13

14 תחומים שונים בעיבוד תמונה שיפור (Enhancement): סילוק בדגימה. קלקולים שנוצרו שחזור (Restoration): סילוק קלקולים שטיבם ידוע. ניתוח (Analysis): אוטומטיות. דחיסה (Compression): מידע לא חיוני. זיהוי מרכיבים בדר כ לצורך מע ייצוג חסכוני ע י סילוק בנייה (Reconstruction): הרכבה על-סמך מידע חלקי (הדמיה ע י חתכים( 14

15 שיפור תמונה קלקולים אופיניים המתקבלים במהלך דגימת או צילום התמונה, מפריעים להבחין בפרטים, מטשטשים את האובייקט וכדומה. תמונת מקור: תצ א (Aerial) 15

16 ניגודיות נמוכה( Contrast (Low 16

17 טשטוש( Blur ) 17

18 מריחה בתנועה( Blur (Motion 18

19 רעש אחיד( Noise (Uniform 19

20 קלקולים נוספים מיקוד לא נכון.( De-Focus ) תזוזה או רעידה של המצלמה או הגוף. תנועות תרמיות של אויר (טורבולנציה) ניתן לתקן חלק מהבעיות ע י עיבוד מתאים אך חייבים לזכור: לא ניתן להוסיף מידע שלא היה קיים בתמונה המקורית! 20

21 שיטות לשיפור התמונה השיטות רבות ומגוונות ותלויות באופי הקלקול ובמטרת השיפור! מדידת השיפור, פעמים רבות סובייקטיבית העין), ולעיתים ניתנת להערכה מתמטית. (לפי 21

22 ניתוח תמונה הכוונה לשיטות המאפשרות שליפת מידע מתמונה באמצעים ממוחשבים, ללא צורך המתבונן אנושי. דוגמאות: מיון עצמים איתור תקלות במעגלים מודפסים זיהוי כתב ניהוג רכב אוטומטי 22

23 דחיסת תמונה 23 מקור 262,144B = 512 x 512 דחוס 33,252B 8:1

24 טכניקות של עיבוד תמונה עיבוד אופטי עיבוד אלקטרוני - אנלוגי עיבוד אלקטרוני - ספרתי 24

25 עיבוד אופטי אין המרה של התמונה הרציפה לנקודות בדידות מספר פעולות ניתנות לביצוע: התמרת פורייה סינון מרחבי חישובי קורלציה, קונבולוציה יתרונות: מהירות (האור), מקביליות (כל הנקודות מחושבות במקביל), דיוק ועוד. 25

26 עיבוד אופטי (המשך) מגוון פעולות מוגבל (חסרות אפילו 4 פעולות היסוד) חוסר גמישות מחייב מערך אופטי ייחודי לכל פעולה. דרוש אור קוהרנטי (לייזר) העברה ושמירת המידע הינם בעייתיים מאד. 26

27 עיבוד אלקטרוני - אנלוגי המרה למידע חשמלי, בייצוג ע י אות אנלוגי. ישנם מספר עיבודים אפשריים: שיפור קונטרסט, הורדת רעשים ועוד. העיבודים בזמן-אמת, שומר על דיוק גבוה וזול. גם כאן יש בעיות מעשיות של מערכות חמרה: חוסר גמישות, רגישות להתיישנות רכיבים, רגישות לשינויי טמפ, בעיית איכסון ועוד. 27

28 עיבוד אלקטרוני - ספרתי תהליך שמחייב המרת התמונה ע י דגימה והמרה בחזרה לאות רציף ע י שיחזור: Camera Controller A/D Image D/A Display Memory Image 28 Processor

29 עיבוד אלקטרוני - ספרתי (המשך) יתרונות: כל פעולה אריתמטית אפשרית אמצעי איכסון גמישות רבה יציבות מערכת מחיר זול והעברה פשוטים וזולים עדיין קיימת בעיית מהירות עיבוד אך הולכת ויורדת עם התפתחות המיחשוב (שעון, מיקבול וכו') 29

30 אפיון של תמונות ננסה לאפיין תמונות לפי מדדים אוביקטיביים: 1. צבעוניות.2 בהיקות (Brightness) ובהירות (Luminance).3 ניגודיות (Contrast) 4. כושר הפרדה (Resolution) 5. תדרים מרחביים.6 רעש,MSE) (SNR 30

31 איפיון: I הצבע מוסיף מידע וטבעיות, נעים יותר לעין. בדר כ ייצוג הצבע במרחב תלת-מימדי: בטלוויזיה ע י אדום, כחול וירוק (RGB), ובדפוס ע י ארגמן, תכול וצהוב (YCM), + שחור, מסיבות של איכות ומחיר. המשמעות היא הכפלה פי שלשה של כמות המידע. בתמונת צבע לעומת תמונת רמות-אפור. 31

32 RGB Color Space Original (color) image R G B 32

33 YCrCb Color Space Linear transformation of RGB color components Y = luminance component (brightness) Cr,Cb = chrominance components (color) YCrCb 4:4:4 YCrCb 4:2:2 YCrCb 4:2:0 x luma samples o chroma samples 33

34 4:2:0 Format - Example Luminance - Y Chrominance Cb Cr 34

35 : בהיקות ובהירות איפיון II המידע בתמונה טמון בפילוג הבהירות בה. הבהירות הינה סובייקטיבית ומתוארת ע י הגודל האוביקטיבי בהיקות: עצמת האור הנפלטת מיחידת שטח, לכוון ההסתכלות. הבהיקות מתארת גם את הצג ותנאי התאורה, וניתן לשנותה כרצוננו. הגודל הכמותי המתאר את הבהיקות הוא רמת האפור (Gray-Level), הנותן מיקום מיספרי בין רמת-השחור לרמת-הלבן המרביות. 35

36 איפיון : II בהיקות ובהירות (המשך) רמות-אפור: בדר כ רמת-האפור מתוארת ע י 8 סיביות ולכן תנוע בתחום או לחלופין מנורמלת בין 0 ל- 1. תמונה בה רמות האפור נעות בהדרגתיות בין לבן לשחור 36

37 : ניגודיות איפיון III הניגודיות מציינת את ההבדל בין רמות האפור של אוביקט לאלו של סביבתו. יכולת ההבחנה של העין תלויה מאד בניגודיות והרבה פחות בבהירותו! ניגודיות מקומית מוגדרת ע י : Contrast = B object B B background background 37

38 ניגודיות (המשך) Bb=0.5 איפיון : III C C 1 2 = = B01 Bb Bb = 05. = 04. = 02. Bo1=0.4 Bo2=0.7 במקרה זה לעיגול הימני ניגודיות חזקה יותר כלפי הרקע מאשר לימני. 38

39 איפיון : IV כושר הפרדה כל תמונה ספרתית מתוארת ע י מערך של נקודות (פיקסלים), המהוות כל אחת דגימה מרחבית של התמונה האמיתית. ככל שמספר הפיקסלים וצפיפותם יהיו גדולים יותר, יהיה ניתן להבחין בפרטים עדינים יותר. מספר הפיקסלים בכל כיוון קובע את גבול ההפרדה של התמונה. בפועל, מספר הפיקסלים האקטיביים בתמונה קטן מהגבול התאורטי. 39

40 כושר הפרדה (המשך) איפיון IV: מדידת ההפרדה נעשית ע י תמונת קווים מחזוריים: למדידת ההפרדה האפקית נשתמש בקוים אנכיים בצפיפות משתנה, בפילוג סינוסי (כמו כאן) או, בדר כ, פשוט בקווי שחור-לבן. למדידת ההפרדה בתמונה מספיק לתאר כמות קווי הפרדה אפקית ואנכית. במכשיר תצוגה (צג) או הדפסה מתייחסים גם לגודל הפיסי : צפיפות נקודות ליחידת אורך.( DPI ) 40

41 איפיון :V תדרים מרחביים השימוש בייצוג ע י תדר זמני מוכר היטב באותות חד-מימדיים, ומקובל גם בדו-מימד, בו הוא מייצג תדר מרחבי. טכניקת המעבר היא ע י התמרת פורייה Transform) (Fourier ודומותיה (הרבות), בצורה הדו-ממדית שלהן. תכונות התמרות דו-ממדיות דומות בדר כ לחד- ממדיות (אם הן ספרביליות) ויוכרו בהמשך. 41

42 איפיון :V תדרים מרחביים (המשך) f f = x cycles / width = 30 0 y cycles / height דוגמאות של תדר מרחבי: f f f f = x cycles / width = 0 60 y cycles / height = x cycles / width = y cycles / height המספרים מקורבים בלבד! ניתן לחשב לפי רוחב הדף, לפי ס מ, אינץ וכו. 42

43 ( איפיון : VI (לכלוך רעש? ה רעש (מונח הלקוח מעיבוד אות דיבור ) הינו ערך אקראי ובלתי רצוי, הנוסף בכל אחד משלבי יצירת התמונה ונוסף למידע הרצוי. תמונתLena המקורית, בתוספת רעש גאוסי לבן 43 f x y (, ) g = f + n ( x, y ( x, y) ( x, y)

44 רעש איפיון VI: (המשך) איפיון הרעש מתמקד בדר כ בתלותו במקום בתמונה, ובעצמתו. (מניחים אי תלות בתמונה עצמה). מניחים (אם אין מידע אחר) אי-תלות בגורמים ידועים ולכן הרעש הוא אקראי. שיערוך סטטיסטי של הרעש אפשרי, באמצעות פונקצית פילוג ההסתברות, כשהפילוג הגאוסי (או ה נורמלי ) הוא אחד המקובלים. 44

45 רעש: פילוג גאוסי (I) לפי הפילוג הגאוסי, ההסתברות שערכו המקומי של הרעש יהיה בין שני ערכים סמוכים n n, n+δ 1 2 2σ n p( n)= e Δn 2 2πσ n n 2 הנו : :סטיית התקן : Deviation Standard : שונות : Variance σ n 2 σ n Carl Friedrich Gauss,

46 - רעש: פילוג גאוסי עקומת פעמון (II) 3dB 46

47 רעש: פילוג גאוסי (III) תכונות של רעש גאוסי: יכול לקבל ערכים חיוביים ושליליים ההסתברות יורדת ככל שערך הרעש עולה הערך הממוצע של משתנה אקראי נקרא תוחלת N N ומחושב לפי: v, h 1 En = nij NN v h מס הפיקסלים בשני הצירים 1 = ( n E ) σ 2 n ij n 2 NN v h i j i j ואת השונות לפי: 47

48 רעש: פילוג גאוסי (IV) תוחלת הרעש Value) ( Expected היא ערך הרעש במרכז הפעמון (הסימטרי) השונות מייצגת את ממוצע ריבוע המרחק בין ערכי הרעש השונים לבין התוחלת. תוחלת: עבור משתנה אקראי, ממוצע: עבור משתנה דטרמיניסטי 48

49 היסטוגרמה של תמונה התפלגות רמות האפור בתמונה מתוארת ע י היסטוגרמה: צבירת כמות הפיקסלים בכל רמת אפור, גובה כל עמודה מתאר את כמות הפיקסלים. בדוגמאות הבאות: Lena תמונת Lena תמונת תמונה חלקה בתוספת רעש גאוסי עם ההיסטוגרמה שלה. בתוספת רעש יוניפורמי + היסטוגרמה. 49

50 50

51 51

52 52

53 53

54 מדידת רעש בתמונה: MSE שגיאה ריבועית ממוצעת Error Mean Squared הבסיס הוא השוואה בין שתי תמונות (או אותות אחרים כמובן), כאשר אחד "מקור" והשני "תוצאה" נמדוד את השוני ביניהם, ולפי השוני ניתן איפיון של דמיון (=איכות) או לחלופין שגיאה (=עיוות). x = {Xi i = 1, 2,, N} and y = {Yi i = 1, 2,, N} are two finite-length, discrete signals (e.g. Images) 1 N N MSE ( X, Y) = Xi Yi ei = Xi Yi i= 1 ( ) is the "error" signal 2 54

55 נורמה כללית ה"נורמה" היא צורה כללית יותר לבטא זאת: 1 N p p p( X, Y) i p d = e is the norm l i= 1 בעיבוד תמונות בדרך-כלל נבטא זאת ע"י יחס האות לרעש PSNR 55

56 יחס אות לרעש : SNR כמות ההפרעה שנוספת לתמונה נמדדת ע י היחס בין האות המקורי לרעש הנלווה. Ratio : Signal to Noise נהוג להגדיר את כמות המידע ("אנרגיה") באות כלשהו, כשונות (Variance) שלו. לפיכך, גודל האות יוגדר: 1 = ( s E ) σs 2 ij s 2 NN v h i j : Si,j ערך האות בנקודה : Es תוחלת בהירות האות (i,j) 56

57 יחס אות לרעש SNR: (המשך) : ואילו יחס האות לרעש SNR יוגדר בסקלה לוגריתמית SNR 2 ( sij Es) 2 σ s i j = 10log 10 10log 10 2 = 2 σ n ( nij En) i j יש לשים לב כי עבור רעש גאוסי לבן בעל ממוצע אפס, בתמונה בעלת מס סופי של נקודות N השאיפה לאפס היא יחסית ל - N. 57

58 יחס אות לרעש : PSNR מדידה המתאימה יותר לתמונות ולמערכת הראיה נקראת Peak-SNR ומחושבת לפי: PSNR = 10log 10 ( n 2 1) 2 MSE כאשר n הוא מספר הסיביות של הדגימות כלומר במונה נמצא רבוע הערך הגבוה ביותר האפשרי באות. 58

59 מגבלות השימוש ב- PSNR המדידה דורשת ידיעת תמונת המקור! המדידה הינה יחסית למדידות מקבילות ואין משמעות למספרים עצמם. מאמצים רבים מושקעים בפיתוח שיטות מדידת איכות אוביקטיביות כדוגמת התקנים: ITU-R BT P.900 ITU-T Video Quality Expert Group (VQEG) 59

60 תחום דינמי של אות התחום הדינמי Range) (Dynamic הוא הערך המרבי של SNR שניתן לקבל בתמונה עבור רמת רעש נתונה. כלומר: מספר הפעמים שהרעש נכנס באות המרבי. 60

61 Appendix : MSE and SSIM Based on: Zhou Wang and Alan C. Bovik, Mean Squared Error: Love It or Leave It? IEEE Signal Processing Magazine, January

62 Why MSE? 1. It is simple. It is parameter free and inexpensive to compute, only one multiply and two additions per sample. 2. It is also memoryless: evaluated at each sample, independent of other samples. 3. All lp norms are valid distance metrics in R N, Nonnegativity: dp(x, y) 0 Identity: dp(x, y) = 0 if and only if x = y Symmetry: dp(x, y) = dp(y, x) Triangular inequality: dp(x, z) dp(x, y) + dp(y, z). 4. In particular, the p = 2 case (proportional to the square root of the MSE) is the ordinary distance metric in N-dimensional Euclidean space. 5. It has a clear physical meaning: it is the natural way to define the energy of the error signal. Such an energy measure is preserved after any orthogonal linear transformation (Fourier etc) 62 The energy preserving property guarantees that the energy of a signal distortion in the transform domain is the same as in the signal domain. This property distinguishes d2 from the other lp energy measures, which are not energy preserving.

63 Why MSE? Cont d 6. The MSE is an excellent metric in the context of optimization. The MSE possesses the very satisfying properties of convexity, symmetry, and differentiability. Minimum-MSE (MMSE) optimization problems often have closed-form analytical solutions. - when they don t, iterative numerical optimization procedures are often easy to formulate, since the gradient of the MSE is easy to compute. 7. MSE is widely used simply because it is a convention. - Historically, it has been employed extensively for optimizing and assessing a wide variety of signal processing applications, including filter design, signal compression, restoration, de-noising, reconstruction, and classification. 63

64 Why NOT MSE? The more fundamental issue has been missing: does the MSE really measure signal fidelity? Given all of its above-mentioned attractive features, a signal processing practitioner might choose the MSE if it proved to be a reasonable signal fidelity measure. But is that the case? 64

65 Comparison of Image Fidelity Measures Zhou Wang and Alan C. Bovik, Mean Squared Error: Love It or Leave It? IEEE Signal Processing Magazine, January

66 An alternative: Structural Similarity A framework of image fidelity measurement as an image communication problem The SSIM proves high effectiveness for measuring the fidelity of signals The principle underlying the SSIM approach is that the human visual system is highly adapted to extract structural information from visual scenes 66

67 Basic Form of SSIM Suppose that x and y are local image patches taken from the same location of two images that are being compared. The local SSIM index measures the similarities of three elements of the image patches: l(x, y) of the local patch luminances (brightness values) c(x, y) of the local patch contrasts s(x, y) of the local patch structures These local similarities are expressed using simple, easily computed statistics, and combined together to form local SSIM 67

68 SIMM Calculation Sxy (, ) = lxy (, ) cxy (, ) sxy (, ) = 2μμ x y+ C1 2σσ x y+ C2 σ xy+ C3 = μ x+ μ y+ C1 σ x+ σ x+ C2 σ xσ y+ C3 Where: - μ x and μ y are (respectively) the local sample means of x and y - σ x and σ y are (respectively) the local sample standard deviations of x and y - σ xy is the sample cross correlation of x and y after removing their means. - The items C 1, C 2,C 3 are small positive constants that stabilize each term, so that near-zero sample means, variances, or correlations do not lead to numerical instability 68

69 Structural vs. Nonstructural Distortions 69

70 Example JPEG induced annoying pseudo-contouring effects (in the sky region) and blocking artifacts (along the boundaries of the building) that are successfully captured by the SSIM index, yet poorly predicted by the absolute error map. 70